Recentemente, a ByteDance lançou uma nova estrutura de sincronização labial chamada LatentSync, projetada para atingir uma sincronização labial mais precisa usando um modelo de difusão potencial condicionado por áudio. A estrutura é baseada no Stable Diffusion e otimizada para consistência temporal. Diferentemente dos métodos anteriores baseados em difusão de espaço de pixels ou geração em duas etapas, o LatentSync usa uma abordagem de ponta a ponta, sem representação de movimento intermediária, capaz de modelar diretamente as relações complexas entre áudio e visual. No LatentSync,

A Kuaishou Technology, sediada em Pequim, anunciou recentemente que sua API de modelo de geração de imagem em larga escala, Kling AI (Kling), concluiu uma nova rodada de atualizações de recursos. A API Kling AI atualizada apresenta melhorias significativas em dois recursos principais: prova virtual e sincronização labial, fornecendo suporte técnico mais robusto para clientes nos setores de comércio eletrônico, marketing de publicidade, entretenimento e ferramentas de IA.

A iQIYI Technology anunciou o lançamento global da versão mais recente de seu grande modelo de geração de vídeo, o PixVerse V3. Esta versão apresenta melhorias significativas nas capacidades do modelo subjacente, oferecendo capacidades de geração multimodais e uma variedade de funcionalidades de IA, incluindo modelos criativos, sincronização labial, continuação de histórias e conversão de estilo.

A D-ID lançou recentemente o AI Video Translate, uma ferramenta inovadora de tradução de vídeo com IA que traduz o conteúdo de vídeos para vários idiomas, clona a voz do narrador e ajusta a sincronização labial para garantir que a tradução se alinhe perfeitamente com as imagens. A ferramenta suporta renderização em massa em 29 idiomas e possui uma interface amigável, tornando-a acessível a qualquer pessoa. Com essa tecnologia, a D-ID ajuda os clientes a promover campanhas de marketing, entretenimento e mídia social em todo o mundo, economizando custos de localização. O lançamento dessa tecnologia é um grande avanço para pequenas empresas...

PIKA lança recurso de sincronização labial 'Lip sync' Alibaba lança estrutura de geração de vídeo EMO EMO pode gerar vídeos de fala com duração arbitrária Tecnologia de ferramentas de geração de vídeo de IA continua a ser otimizada